SkillSandbox: Skill Verification via Dynamic Scenario Synthesis
SkillSandbox：动态场景合成验证技能可重用性
🧭 自我进化 Agent 技能验证与库管理 ★ 深度解读
Yonsei University
围绕每个技能动态合成新场景，对比有无技能的执行轨迹来验证其可重用性，构建更可靠的技能库
📌 工作参考价值（4 点）
- 把「技能库/策略库入库前验证」从历史任务重放改为动态合成验证场景：针对每个策略/技能的适用条件，用 LLM 生成保留核心约束但改变上下文的新场景，这样能暴露策略是否真正可迁移。对应电商推荐中，可以针对某条 query 改写规则或排序策略，合成不同类目、不同用户意图的模拟请求，验证其泛化性。
- 借鉴 VERIFIER 的三维度打分：executability（策略是否被正确触发并执行）、utility（是否提升成功/转化）、efficiency（是否增加额外步骤/延迟）。在推荐系统里，可以对同一场景跑 A/B（有/无该策略），比较转化率和平均步数，用折扣回报差来量化净收益，过滤掉「看似合理但引入回归」的规则。
- 关注 Recovery 和 Regression 指标：论文强调可靠验证必须同时看新策略解决了多少之前失败的任务，以及是否让原来能成功的任务变失败。在电商推荐或广告策略上线时，除了看整体提升，还要监控对已稳定场景的回归，避免新策略破坏现有效果。
- 验证不依赖更强外部模型：结构化场景构建和固定打分让执行器自身的模型即可完成可靠验证，业务中可用现有服务模型做策略筛选，无需额外引入更贵的模型。